Fremantle merupakan anak lelaki kepada Thomas Fremantle, seorang Laksamana Tentera Laut Diraja British[1] Manakala ibunya, Elizabeth Wynne Fremantle, seorang penulis kekusasteraan. Sepupunya, William Henry Fremantle. Nama tengahnya ialah Howe kerana beliau dilahirkan semasa hari ulangtahun perkahwinan ibu bapanya. Ibu bapanya berkahwin di Perancis pada bulan Jun 1794. Kemudian bapanya menyertai tentera pada tahun 1812.

Fremantle pernah didakwa di atas kesalahan merogol seorang gadis di bawah umur yang berumur 15 tahun pada bulan April 1826. Untuk mengelakkan dari menjadi bahan bualan orang ramai dan terjerat dengan skandal seks, keluarganya sanggup membayar rasuah kepada saksi-saksi perbicaraan serta memberikan tekanan pada hakim dan pendakwa raya agar beliau dibebas dan dilepaskan. Pada bulan Ogos 1826, beliau telah dilantik menjadi Kapten tentera laut British. Pada tahun 1828, beliau diberikan arahan untuk mengetuai ekspedisi pelayaran HMS Challenger serta dihantar untuk mendeklarasikan kawasan baharu dan menuntut hak milik di barat Australia untuk diserahkan kepada Koloni British.